
\documentstyle[12pt]{article}


\textheight 23cm
\textwidth 16cm
\voffset=-1cm
\hoffset=-1cm


\begin{document}
\noindent{\bf FEUILLE de TD n$^{\mbox{o}}$ 3} \hspace{4cm} {\bf
  STATISTIQUE DES PROCESSUS}

\vspace{2.5cm}

\begin{center}
{\bf S\'ERIES TEMPORELLES (2)}
\end{center}               

\vspace{2.5cm}

\noindent {\bf \underline{Exercice 1}.}

\medskip

\noindent Soit $\{\varepsilon_t\}_{t\in Z\!\!\!Z}$ un  bruit blanc
fort, de variance \'egale \`a 1 et admettant un moment d'ordre 4, $\mu_4$. On 
s'int\'eresse au processus ~:
$X_t=\varepsilon_t -\theta \varepsilon_{t-1},$
pour lequel on cherche \`a estimer $\theta$. On propose deux estimateurs~:
$$\hat\theta_1 =\sqrt{\frac 1T \sum_{t=1}^T X_t^2-1}, \ \ 
\hat \theta_2=-\frac 1T\sum_{t=1}^TX_tX_{t-1}.$$
\noindent {\bf 1)} Justifier la construction de ces deux estimateurs. 

\medskip

\noindent {\bf 2)} Prouver que $\hat\theta_1$ est presque s\^{u}rement d\'efini 
lorsque $T$ est grand. Calculer les limites presque sures de $\hat\theta_1$ 
et $\hat\theta_2$ quand $T\rightarrow +\infty$. 

\medskip

\noindent {\bf 3)} Donner les lois limites respectives de $\hat\theta_1$ et 
$\hat\theta_2$, en admettant que le TLC peut s'\'etendre \`a une suite de v.a.
$Y_t$ stationnaires et $m$-d\'ependantes, i.e. telles que pour tous entiers $n$
et $0<t_1< \dots <t_n$, $(Y_{t_1}, \dots, Y_{t_n})$ est ind\'ependant de $Y_1, 
\dots, Y_{t_1-m-1}$ et de $Y_{t_n+m+1}, \dots$.

\bigskip


\noindent {\bf \underline{Exercice 2}.}

\medskip

\noindent Soit $\{ X_t\}_{t\in Z\!\!\!Z}$ un processus stationnaire au
sens faible, admettant la d\'ecomposition de Wold~:
$\displaystyle X_t=\sum_{i=0}^{+\infty}a_i\varepsilon_{t-i}.$
On suppose que l'on a observ\'e $\{\varepsilon_i, \; i\leq t\}$, et l'on 
cherche \`a pr\'edire $X_{t+h}$, pour $h$ strictement positif, au moyen 
d'un pr\'edicteur lin\'eaire de la forme~:
$\displaystyle \sum_{i=0}^{+\infty} b_i(t,t+h)\varepsilon_{t-i}.$
D\'eterminer le meilleur de ces pr\'edicteurs (que l'on appellera $\hat X_{t+h}
(t)$), et \'etudier 
$$\lim_{h\rightarrow +\infty}\mbox{I\negthinspace E}\left[ \left(X_{t+h}
-\hat X_{t+h}(t)\right)^2\right].$$

\bigskip

\noindent {\bf \underline{Exercice 3}.}

\medskip

\noindent Soit $(X_t\}_{t\in Z\!\!\!Z}$  un processus 
stationnaire gaussien. On pose~:
$\displaystyle \bar X_T=\frac 1T \sum_{t=1}^T X_t.$
On suppose que 
$\displaystyle \sum_{n\in Z\!\!\!Z} |\mbox{cov}(X_0,X_n)|<+\infty$. 
Prouver que 
$\displaystyle \sqrt{T}(\bar X_T-\mbox{I\negthinspace E}X_0) 
\stackrel{{\cal L}}{\longrightarrow} {\cal N}(0, 2\pi f(0)),$
o\`u $f$ est la densit\'e spectrale de $(X_t\}_{t\in Z\!\!\!Z}$. Que
se passe-t-il si~: $X_t=\varepsilon_t-\varepsilon_{t-1} \mbox{ ?}$

\bigskip

\noindent {\bf \underline{Exercice 4}.}

\medskip

\noindent Soit $(X_t)_{t\in Z\!\!\!Z}$ un processus r\'eel centr\'e 
stationnaire au sens faible, tel que
$\displaystyle \sum_{n\in Z\!\!\!Z} |\mbox{cov}(X_0,X_n)|<+\infty$.

On s'int\'eresse \`a l'estimation de sa densit\'e spectrale et on suppose que
l'on dispose d'un \'echantillon $\{X_1, \dots, X_T\}$.  On note
$$\hat\gamma_T(p) =\frac 1T
\sum_{t=|p|+1}^TX_tX_{t-|p|}, \;\; |p|<T,$$
$$\hat\gamma_T(p) = 0, \;\;
|p|\geq T.$$
On propose l'estimateur~:
$\displaystyle f(\lambda; d_T)=\frac 1{2\pi} \sum_{|d|\leq d_T}
\hat\gamma_T(d)\exp(-i d \lambda),$
o\`u $\{d_T\}_{T\in \mbox{I\negthinspace N}}$ est une suite d'entiers, tendant
vers $+\infty$, $d_T<T$.

\medskip

\noindent {\bf 1)} Montrer que $\displaystyle \lim_{T\rightarrow +\infty}
\mbox{I\negthinspace E}f(\lambda, d_T)=f(\lambda).$

\medskip

\noindent {\bf 2)} Afin de simplifier les calculs, on suppose que
$\{X_t\}_{t\in Z\!\!\!Z}$ est un bruit blanc fort admettant des
moments d'ordre 4.

\medskip

{\bf a)} Prouver que les estimateurs des covariances sont deux \`a deux
non corr\'el\'es. En d\'eduire la variance de l'estimateur de la densit\'e
spectrale propos\'e.

\medskip

{\bf b)} Calculer la limite de la variance du p\'eriodogramme et en d\'eduire
qu'il ne converge pas.

\medskip

{\bf c)} Donner des conditions sur la suite $\{d_T\}_{T\in
\mbox{I\negthinspace N}}$ qui assurent la convergence de la
variance de l'estimateur vers 0. En d\'eduire que dans ce cas,
l'estimateur converge en moyenne quadratique.


\bigskip

\noindent {\bf \underline{Exercice 5}.}

\medskip

\noindent Soit $(X_t, t\in Z\!\!\!Z)$ un processus stationnaire 
centr\'e.

\medskip

\noindent {\bf 1)} Montrer que $X_t^{(p)} \stackrel{L^2}{\rightarrow} 
\hat X_t$ quand $p\rightarrow +\infty$, o\`u l'on note $X_t^{(p)}$ 
la projection orthogonale de $X_t$ sur $Vect(X_{t-1}, \dots, X_{t-p})$
et $\hat X_t$ celle de $X_t$ sur $Vect(X_{t-1}, \dots)$.

\medskip

\noindent {\bf 2)} En d\'eduire que $\mbox{I\negthinspace E}(X_t-\hat X_t)^2$
ne d\'epend pas de $t$.

\bigskip

\noindent {\bf \underline{Exercice 6}.} (Rappel de cours).


\medskip

\noindent Soit $(\Omega, {\cal A}, P)$ un espace probabilis\'e, et $(X_t)_{t
\in Z\!\!\!Z}$ un processus centr\'e
faiblement stationnaire d\'efini sur cet espace.
Soit $l(X)$ l'espace vectoriel des combinaisons lin\'eaires finies form\'ees
\`a partir d'\'el\'ements de $(X_t, t \in Z\!\!\!Z)$ et $\overline{l(X)}$, la fermeture
de cet espace dans $L^2(P)$.

Soit $T$ l'unique isom\'etrie de $\overline{l(X)}$ dans $L^2(\mu_X)$ qui
 satisfait
$T(X_t)=\exp(it.)$, pour tout $t$ dans $Z\!\!\!Z$.

Pout tout $\lambda \in [-\pi, \pi[$, on
 d\'efinit le processus al\'eatoire $Z(\lambda)=T^{-1}({\bf 1}_{[-\pi, \lambda]})$.

\begin{enumerate}
\item Montrer que $Z$ est un processus \`a accroissements orthogonaux.
\item
On note $I$ l'int\'egrale stochastique
$I: L^2(\mu_X)\mapsto \overline{l(X)}$ par rapport au processus $Z$: 
$$
   I(f)=\int_{-\pi}^{\pi}f(\lambda)dZ(\lambda) \, .
$$
Montrer que $I=T^{-1}$.
\item
En d\'eduire que, presque s\^urement,
$$
   X_t=\int_{-\pi}^{\pi}\exp(it\lambda)dZ(\lambda) \, .
$$
\item On suppose \`a pr\'esent que $(X_t)_{t \in Z\!\!\!Z}$ est un
 bruit blanc faible
avec Var$(X_0)=1$.
\begin{enumerate}
\item Montrer que la famille $(\exp(it.), t \in Z\!\!\!Z)$ forme une base
orthonorm\'ee de $L^2(\mu_X)$. On note $c_t(\lambda)$ le t-i\`eme coefficient
de fourier de ${\bf 1}_{[-\pi, \lambda]}$ dans cette base. 
\item  Montrer que
$$
 Z(\lambda)=\sum_{t \in Z\!\!\!Z} c_t(\lambda)X_t \, .
$$
\end{enumerate}
\end{enumerate}

\bigskip

\noindent {\bf \underline{Exercice 7}}

\medskip

\noindent Pour tout $\lambda \in [-\pi, \pi[$, soit $B(\lambda)$ un processus gaussien
centr\'e satisfaisant Cov$(B(s),B(t))=(2\pi)^{-1}(\min(s,t)+\pi)$.
\begin{enumerate}
\item Montrer que $B$ est un processus \`a acroissements ind\'ependants.
\item On note $I$ l'int\'egrale stochastique par rapport au processus $B$.
Si $f$ est une fonction en escalier, que vaut $E(I^2(f))$?
\item En d\'eduire $E(I(f)I(g))$ pour toutes fonctions $f$ et $g$ de $L^2(\lambda)$,
o\`u $\lambda$ est la mesure de Lebesgue sur $[-\pi,\pi]$. 
\item Pour $t \in Z\!\!\!Z$, soit
$g_t(x)=\sqrt{2}\cos(tx){\bf 1}_{[-\pi,0]}(x)+
\sqrt{2} \sin(tx){\bf 1}_{[0,\pi]}(x)$. On d\'efinit le processus
 $(X_t)_{t \in Z\!\!\!Z}$
par
$$
   X_t=\int_{-\pi}^{\pi}g_t(\lambda)dB(\lambda) \, .
$$
Montrer que ce processus est faiblement stationnaire, et donner sa densit\'e spectrale.
\item D\'eterminer la loi du processus 
 $(X_t)_{t \in Z\!\!\!Z}$. Ce processus est-il fortement stationnaire?
\end{enumerate}

\bigskip

\noindent {\bf \underline{Exercice 8}.} (facultatif)

\medskip

\noindent On admettra le th\'eor\`eme de Prohorov : Soit $\mu_n$ une suite de mesures de
probabilit\'e sur $(\mbox{I\negthinspace R}, {\cal B}(\mbox{I\negthinspace R}))$. 
Alors de toute sous-suite $\mu_{\phi(n)}$ on peut extraire une sous-suite
qui converge \'etroitement si et seulement si pour tout $\epsilon>0$ il existe un r\'eel positif $K_\epsilon>0$ tel
que $\sup_{n\geq 0}\mu_n([-K_\epsilon, K_\epsilon]) \geq 1-\epsilon\, .$

On consid\`ere le processus autor\'egressif fonctionnel suivant: partant d'une variable al\'eatoire initiale
$X_0$ \`a valeur dans I\negthinspace R, on d\'efinit la suite $X_n$ par r\'ecurrence sur $n$ gr\^ace \`a la relation
$X_{n+1}=f(X_n) + \varepsilon_{n+1}$, o\`u $f$ est une fonction bor\'elienne et $\varepsilon_n$ est une suite i.i.d.
ind\'ependante de $X_0$.

\begin{enumerate} 
\item On note $\pi_n(x,.)$ la loi conditionelle de $X_n$ sachant $X_{n-1}=x$.
\begin{enumerate}
\item Pour toute fonction $h$ bor\'elienne born\'ee, 
d\'eterminer I\negthinspace E$(h(X_n)|X_{n-1})$ en fonction de la loi de $\varepsilon_1$. En 
d\'eduire que $\pi_n(x,.)$ ne d\'epend pas de $n$. On note d\'esormais $\pi(x,.)$ cette 
probabilit\'e. 
\item Supposons que $f$ soit continue. Montrer que pour toute fonction continue born\'ee
$h$, la fonction $x\rightarrow \pi(x,h)$ est continue born\'ee. 
\item On d\'efinit $\pi^n(x,.)$ par r\'ecurrence sur $n$: $\pi^n(x, h)=\int \pi(y,h) \pi^{n-1}(x,dy)$.
Montrer que si la variable initiale $X_0$ a pour loi $\nu$ alors $X_n$ a pour loi $\nu_n$ d\'efinie par
$\nu_n(h)=\int \pi^n(x,h) \nu(dx)$.
\end{enumerate}
\item On suppose que $f$ est $\theta$-lipschitzienne de rapport $\theta < 1$, que $f(0)=0$ et
que I\negthinspace E$(|\varepsilon_1|) < \infty$.
Si $X_0=x$, on note $X_n^x$ la variable al\'eatoire obtenue \`a la $n$-\`eme it\'eration et 
$\nu_n^x$ sa loi. V\'erifier que $\nu_n^x(.)=\pi^n(x, .)$
\begin{enumerate}
\item Montrer que 
$\displaystyle |X_n^0| \leq \sum_{i=0}^{n-1} \theta^i |\varepsilon_{n-i}|$.
\item En d\'eduire que pour tout $\epsilon>0$ il existe $K_{\epsilon}>0$ tel que pour tout $n$ on ait
$\nu_n^0([-K_\epsilon, K_\epsilon]) \geq 1-\epsilon$. On note $\bar{\nu}^0_n= n^{-1} \sum_{k=1}^n \nu_k^0$.
Montrer que, pour tout $n$,  $\bar{\nu}^0_n([-K_\epsilon, K_\epsilon]) \geq 1-\epsilon$. Notons $\mu$ une valeur
d'adh\'erence (pour la convergence \'etroite) de la suite $\bar{\nu}^0_n$.
\item Montrer que pour toute fonction continue born\'ee $h$, $\mu(h)=\int \pi(x,h) \mu(dx)$.
En d\'eduire que si $X_0$ a pour loi $\mu$ alors $X_n$ a pour loi $\mu$. On dit
que $\mu$ est une loi invariante pour $\pi(x, .)$.
\item
Soit $h$ une fonction $1$-lipschitzienne telle que $\|h\|_{\infty}\leq 1$. Montrer que
\begin{eqnarray*}
     |\pi^n(x,h)-\mu(h)| &  =   &\Bigl| \int \mbox{I\negthinspace E}(h(X_n^x)-h(X_n^y)) \mu(dy) \Bigl|\\
                                 &\leq & \int \mbox{I\negthinspace E}|h(X_n^x)-h(X_n^y)| \mu(dy) 
 \leq \int \min(2, \theta^n|x-y|) \mu(dy) \, .
\end{eqnarray*}
\item En d\'eduire qu'il existe une unique mesure invariante $\mu$ et que pour toute loi
initiale $\nu$, $\nu_n$ converge \'etroitement vers $\mu$.
\end{enumerate}
\item On prend $f(x)=x/2$ et $\varepsilon_1$ distribu\'ee selon la loi de Bernouilli de param\`etre $1/2$.
\begin{enumerate}
\item  Exprimer $X_n^0$ en fonction des $\varepsilon_i$. En d\'eduire la loi de $X_n^0$.
\item  D\'eterminer la loi invariante $\mu$.
\end{enumerate}
\end{enumerate}


\end{document}
Soit $Y = (Y_t, t\in Z\!\!\!Z)$ un processus faiblement stationnaire, r\'egulier, 
d'innovation $\varepsilon = (\varepsilon_t, t\in Z\!\!\!Z)$ et de la forme
$$
Y_t=\sum_{j \geq 0} a_j \varepsilon_{t-j}, \;\;\; t\in Z\!\!\!Z,
$$
o\`u  $a_0=1$ et $\sum |a_j| < \infty$.

\noindent Soit $Z$ une variable al\'eatoire ind\'ependante de $\varepsilon$  
et telle que $EZ=0$, $v^2= EZ^2 \in ]0, \infty [$.
On pose 
$$
X_t = Y_t + Z, \;\;\; t\in Z\!\!\!Z.
$$

\noindent {\bf 1)} Montrer que $(X_t)$ est un processus stationnaire. 
Calculer son autocovariance. A-t-il une densit\'e spectrale~?

\medskip

\noindent {\bf 2)} Montrer que $\displaystyle 
\bar X_n = \frac 1n \sum_{t=1}^n X_t$ 
converge en moyenne quadratique quand $n$ tend vers l'infini et d\'eterminer
sa limite. M\^{e}mes questions pour les suites
$$\left(\frac 1n \sum_{i=1}^n X_{t-i}, n\geq 1\right), \;\; t\in 
Z\!\!\!Z.$$

\noindent {\bf 3)} Montrer que $Z\in \cap_{s=0}^{\infty} {\cal M}_{t-s}$,
$t\in$ {\bf Z} o\`u ${\cal M}_{t-s}$ d\'esigne l'espace vectoriel ferm\'e
engendr\'e par $(X_u, u\leq t-s)$. 


\medskip

\noindent {\bf 4)} D\'eterminer la d\'ecomposition de WOLD de $(X_t)$.


\newpage

\noindent {\bf \underline{Exercice 2}.}

\medskip

\noindent Soit $\{X_t\}_{t\in Z\!\!\!Z}$ et $\{Y_t\}_{t\in 
Z\!\!\!Z}$ deux processus r\'eels, stationnaires au sens faible, et
tels que, pour tout $(t,s)$ de {\bf Z}$^2$, cov$(X_t,Y_s)=0$.

Prouver que $\{X_t+Y_t\}_{t\in Z\!\!\!Z}$ est stationnaire au
sens faible, et donner sa mesure spectrale en fonction de celle 
de $\{X_t\}_{t\in Z\!\!\!Z}$ et de $\{Y_t\}_{t\in Z\!\!\!Z}$.

\bigskip

\bigskip\


\end{document}